Caleb Casey McGuire Affleck-Boldt [1] sinh ngày 12 tháng 8 năm 1975 tại Falmouth, Massachusetts, với Christopher Anne "Chris" Boldt và Timothy Byers Affleck.[2][3][4] Họ "Affleck" của ông có nguồn gốc từ Scotland.[5] Ông cũng có nguồn gốc Ireland,[6][7] Đức,[8] Anh và Thụy Sĩ.[9]   Ông cố của bà ngoại của Affleck, Heinrich Boldt, - Được biết đến với việc phát hiện ra đĩa Curmsun, di cư từ Phổ vào cuối những năm 1840.[10][11] Mẹ của Casey là một giáo viên trường cao đẳng Radcliffe - và là giáo viên tiểu học của Harvard. Cha ông làm việc vặt như một thợ sửa xe,[12][13] thợ mộc,[14] một người nhận đặt cá cược,[15][16] một thợ điện,[17] một nhân viên pha chế,[18] và một người gác cổng tại Đại học Harvard.[19][20][21][22] Vào giữa những năm 1960, ông là một người quản lý sân khấu, đạo diễn, nhà văn và Diễn viên với Nhà hát Công ty Boston.[23][24][25] Trong thời thơ ấu của Affleck, cha anh là "thảm họa của một người nghiện rượu".[26] Affleck lần đầu tiên bắt đầu tập diễn xuất bằng cách "diễn lại những gì đang xảy ra ở nhà" trong các bài tập đóng vai tại các cuộc họp của Alateen.[27]

Sau khi cha mẹ anh ly hôn khi anh 9 tuổi, Affleck và anh trai anh, Ben, sống với mẹ và đến thăm cha hàng tuần.[26] Anh đã học nói tiếng Tây Ban Nha trong suốt một năm đi du lịch vòng quanh Mexico cùng mẹ và anh trai khi anh lên 10.[28] Hai anh em đã dành "tất cả thời gian của chúng tôi bên nhau, khá nhiều. Rõ ràng ở trường chúng tôi học lớp khác nhau, nhưng chúng tôi có chung những người bạn. " Khi Affleck 14 tuổi, cha anh chuyển đến Indio, California để vào một cơ sở phục hồi chức năng, và sau đó làm việc ở đó với tư cách là một cố vấn cai nghiện.[17][29][30] Affleck đã kết nối lại với cha mình trong các chuyến thăm tới California khi còn là một thiếu niên: "Tôi thực sự đã biết thêm về ông ấy, bởi vì ông ấy đã tỉnh táo lần đầu tiên... Người bố mà tôi biết trước đó hoàn toàn khác biệt. " [31]

Lớn lên trong một gia đình cấp tiến, hoạt động chính trị ở Quảng trường trung tâm, Cambridge,[15][32] Affleck và anh trai được tiếp xúc thường xuyên với những người làm việc trong nghệ thuật,[33] thường xuyên được mẹ đưa đến nhà hát,[34] và được khuyến khích tự làm phim tại nhà.[35] Hai anh em đôi khi xuất hiện trong các quảng cáo thời tiết địa phương và như các bộ phim bổ sung vì tình bạn của mẹ họ với một đạo diễn casting địa phương.[18][31][36] Casey đã diễn xuất trong nhiều tác phẩm sân khấu của trường trung học trong khi một học sinh tại Cambridge Rindge và Latin School.[37] Anh ấy đã nói rằng anh ấy "sẽ không trở thành một Diễn viên" nếu không phải là giáo viên sân khấu trung học của anh ấy, Gerry Speca: "Anh ấy đã khiến tôi thích với diễn xuất, tại sao nó có thể vui vẻ thế, làm thế nào để nó có thể bổ ích."

Năm 18 tuổi, Affleck chuyển đến Los Angeles một năm để theo đuổi sự nghiệp diễn xuất, và sống với anh trai và người bạn thời thơ ấu Matt Damon.[38] Mặc dù có "trải nghiệm đầu tiên tốt nhất có thể" khi quay To Die For,[39] anh dành phần lớn thời gian trong năm để làm nhân viên bán hàng tại một nhà hàng ở Pasadena. Anh quyết định chuyển đến Washington, DC, để học chính trị tại Đại học George Washington.[18] Anh sớm chuyển đến Đại học Columbia ở thành phố New York, nơi anh theo chương trình giảng dạy chính trong tổng cộng hai năm.[40][41] Tuy nhiên, anh không tốt nghiệp: "Tôi sẽ học một học kỳ, sau đó đi làm phim... Nó là cơ hội tiếp tục thể hiện bản thân mà tôi khó từ chối... Đến lúc nào đó, tôi không thực sự bám rễ ở trường nữa và cũng không có nhóm bạn thân nào. "